KnowGPO: Knowledge-Grouped Policy Optimization for Search Agents
KnowGPO：面向搜索 Agent 的知识分组策略优化
🧭 搜索 Agent 强化学习 · 过程奖励 ★ 深度解读
Zhejiang University · Tencent
把搜索轨迹按已满足的原子知识条件分组，用增量知识增益做过程奖励，8B agent 超过多数 32B 开源系统
📌 工作参考价值（4 点）
- 电商导购/客服 Agent 可把多轮对话状态抽象为“已确认的原子约束集合”，例如已确认类目、预算、尺码、场景；每轮新增确认约束作为 incremental gain，按“当前已确认约束集合”分组做组内对比，避免按 query 文本相似度硬聚类。论文显示这种语义分组有效对比步数 ESR 达 97.8%，远高于 observation 相似度的 51.8%。
- 若有转化/成交/收藏等结局 label，可离线把成功会话反向拆成必须确认的知识条件，再用这些条件给失败或中间轨迹构造过程奖励。两阶段构造 pipeline：先生成 placeholder 条件，再用答案和成功轨迹做实体接地，能降低对单条成功轨迹的依赖。
- 过程奖励只需 incremental knowledge gain，不需要 critic 或 learned reward model；verifier 用 LLM 异步执行，可隐藏训练墙钟开销。对预算有限的团队，这比学 reward model 更容易落地。
- 混合 outcome reward 与 process reward 时不要过度偏向 process：论文最佳 ω=0.3，过大会偏离最终转化目标。业务中可优先在 0.2–0.4 内调参，避免多轮 agent 只优化局部信息收集。